iT邦幫忙

第 12 屆 iThome 鐵人賽

DAY 5
0
DevOps

30 Days of MLOps系列 第 5

透過 Docker 來建構 Tensorflow Serving - 30 Days of MLOps

  • 分享至 

  • xImage
  •  

前一篇我們有提到怎麼用 apt-get 來安裝 tensorflow-model-server,但使用 Tensorflow 官方包好的 Docker Image,則會是更簡單的一種方式。我們又如何使用 Docker Image 來建構 Tensorflow Serving,總共會有三個步驟:

總共會有三個步驟

  1. 安裝 TensorFlow 服務
  2. 開始運行 TensorFlow 服務
  3. 在 TensorFlow Serving 中向您的模型提出請求

安裝 TensorFlow 服務

透過 Docker Hub 下載 TensorFlow Serving 的 image

docker pull tensorflow/serving

開始運行 TensorFlow 服務

從 Git repo 下載預先訓練的 Model

git clone https://github.com/tensorflow/serving

啟動 TensorFlow Serving 服務,並指定對外開放 port 號,及指定預存模組放置的位置。

TESTDATA="$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata"

docker run -t --rm -p 8501:8501 \
    -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \
    -e MODEL_NAME=half_plus_two \
    tensorflow/serving &

從 TensorFlow Serving 取得預測結果

透過 API 跟 Model 溝通,取得 Model 預測後的資料。

curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

回傳的結果範例 => { "predictions": [2.5, 3.0, 4.5] }

參考資料


上一篇
透過 apt-get 指令建構 Tensorflow Serving 環境 - 30 Days of MLOps
下一篇
客製化 Docker 容器 - 30 Days of MLOps
系列文
30 Days of MLOps23
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言